A equipe de pesquisa da Nvidia, usando técnicas de poda e destilação de modelos, lançou com sucesso o Llama-3.1-Minitron4B, uma versão compactada do modelo Llama 3, projetada para inteligência artificial em dispositivos. O modelo reduz a quantidade de parâmetros do modelo original de 8B através de técnicas de poda profunda e poda de largura, mantendo ao mesmo tempo um desempenho semelhante ao de modelos maiores. Com uma redução significativa nos dados de treinamento (40 vezes), o modelo apresentou uma melhoria de 16% no benchmark MMLU. Este resultado foi alcançado através do Ne...